更深入地审视 Agentic BBO：面向黑盒优化的 LLM Agent 基准测试
🧭 LLM Agent · 黑盒优化基准测试
State Key Laboratory of Novel Software Technology, Nanjing University · School of Artificial Intelligence, Nanjing University
构建跨领域基准 AgenticBBO-Bench，统一评估 LLM Agent 在黑盒优化中的表现并分析关键设计因素
📌 工作参考价值（4 点）
- 在推荐系统超参数优化（学习率、正则系数、embedding 维度等）或 AutoML 流程中，可让 LLM agent 结合任务语义与历史 trial 结果生成候选配置，再由数值优化器精调，减少早期随机搜索浪费。
- 当黑盒目标包含语义信息（如商品类目、广告文案风格、用户意图）时，将语义先验注入 agent 提示词能稳定提升搜索效率；但避免使用过于具体的先验知识，论文显示具体先验不稳定。
- 线上 A/B 测试或流量有限的调参场景可借鉴 finite-budget 协议：在固定评估次数内对比不同策略，结合 LLM 推理成本选择 Pareto 前沿模型（如 DeepSeek-V4.1-Flash），兼顾性能与成本。
- 设计 agent 系统时不必堆砌额外数值工具，应优先利用任务语义和 agent 生成的优化轨迹；数值优化器可以有效吸收 agent 探索得到的轨迹，二者协同优于单独使用。
Agentic AutoRAG：推理驱动 Agent 优化 RAG 流水线
🧭 Agent 驱动 RAG 超参优化 ★ 深度解读
ETH Zurich
用 LLM agent 诊断检索/生成失败并借助模型排行榜与价格先验做 RAG 超参 Pareto 优化，样本和成本效率显著提升
📌 工作参考价值（4 点）
- 失败归因驱动调参：搜索/推荐系统中召回和排序通常是两级漏斗，可以从线上 bad case 中区分“召回没召到”和“排序没排好”，把失败归因作为信号指导下一轮配置调整，比只看整体指标更能定位问题。
- 注入先验知识库跳过劣质配置：将模型能力排名和成本信息预先编码进搜索过程（类似模型的 leaderboard 和定价表），可以大幅减少无效试错，尤其适合成本敏感的在线服务，快速找到性价比高的配置。
- 构建可区分性评测集：用 probe-based selection 筛选出对不同配置敏感的评测样本，避免在大量无区分度样本上浪费评估预算；在推荐/搜索的离线评估中也可以借鉴，聚焦于能区分策略优劣的 query 或 item 集合。
- 输出 Pareto 前沿而非单点：多目标优化（准确率/成本）返回 Pareto 前沿，让业务根据预算和效果要求选择配置，而不是只给一个固定最优解。
有限库输入扭曲核的无遗憾贝叶斯优化
🧭 贝叶斯优化 · 输入扭曲核
AI Sweden
用有限库光滑输入扭曲自适应 GP-UCB 的核几何，在不牺牲收敛保证下提升黑盒优化样本效率
📌 工作参考价值（4 点）
- 在电商/广告模型的超参调优（如 learning rate、embedding size、正则系数）中，很多参数本质是对数或幂律敏感，手动 log 缩放经验性强且不完整；可构造包含 identity、log、logit、power transform 的有限扭曲库，让 BO 根据历史观测自动选择扭曲，代替人工缩放。
- 对搜索/推荐系统的在线实验或仿真实验设计，若目标函数存在局部峰值或置信陷阱，直接使用 GP-UCB 可能过早收敛；FLIWBO-UCB 的输入扭曲库可让其逃逸陷阱，且保留 no-regret 保证，适合预算极低的黑箱评估场景。
- 在多智能体系统（如智能客服、广告竞价 Agent 协作）需调节多个维度设计参数且每次评估昂贵时，该方法在 20 维噪声评估下可行，可作为 Agent 系统超参调优的实用 BO 组件。
- 工程实现上，扭曲库的选择规则可以是任何历史相关规则（如 UCB 或 EI），这给线上系统留出灵活空间；注意库大小带来的 regret 代价为 √Nε，库不宜过大，可在调优前根据参数先验缩小候选扭曲。
交互效应的分布外推方法 DExtrI
🧭 组合外推与交互效应建模
Seminar for Statistics, ETH Zürich · Department of Statistics, University of Washington
提出 DExtrI，从仅单变量活跃的训练数据外推多变量组合的交互效应，并给出可行性理论保证
📌 工作参考价值（4 点）
- 推荐/广告中常需预测多策略同时生效的组合效果（如优惠券+置顶+新样式），而训练数据往往只有单策略生效的 A/B 实验。DExtrI 提供了一种从单变量观测外推组合效应的统计学框架，可直接迁移到营销组合效果预估。
- 对于特征交互敏感但线上实验昂贵的场景（如排序模型多目标权重、召回通道组合），可借鉴其 axis-aligned 采样策略：只需跑边际参数扫描，再用 DExtrI 预测联合配置，显著降低实验成本。
- 其理论保证刻画了“何时组合外推可行”的条件，可帮助判断在哪些业务问题上可以安全地从单变量实验外推到多变量组合，避免盲目用复杂模型外推导致不可靠结论。
- 方法对分布外组合输入的稳定性有明确建模，对推荐系统在用户/物品特征组合出现长尾或未见组合时的鲁棒性设计有启发，尤其是交互项的结构假设可以简化线上模型的分布外泛化问题。
异构架构下学习率调度策略的系统评估
🧭 训练超参数：学习率调度策略评估
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany
大规模实验表明 CosineAnnealingWarmRestarts 与 CyclicLR 普遍优于基础衰减，调度选择高度依赖架构
📌 工作参考价值（4 点）
- 训练深度推荐模型（如 CTR 预估、双塔召回）时，可直接用 CosineAnnealingWarmRestarts 或 CyclicLR 作为默认调度，替代阶梯衰减，以提升收敛速度与泛化能力
- 调度器选择应与模型架构绑定：不同结构（DNN、Transformer、DeepFM）对调度敏感度差异大，建议针对具体架构做小规模网格搜索
- 在大规模超参优化中，将学习率调度视为一级超参数，联合基础学习率与调度配置进行自动搜索，可能带来显著收益
- 对于强化学习 Agent 训练，周期性重启学习率（如 CosineAnnealingWarmRestarts）有助于跳出局部最优，可尝试引入到策略梯度或 Q-learning 训练中
LensKit-Auto：增强的自动推荐系统框架
🧭 自动推荐系统工程与优化
University of Siegen
升级框架兼容新版 LensKit，引入 TPE 优化与可视化，提升自动算法选择的工程易用性
📌 工作参考价值（4 点）
- 将 Tree Parzen Estimator 用于推荐模型超参调优，比随机搜索更高效，可集成进电商推荐算法实验流水线
- 黑盒易用性设计让非专家也能快速找到最佳算法，适合业务团队快速验证推荐方案
- 可视化优化过程能帮助监控调参进展与模型性能，可借鉴实现类似的实验看板
- 框架预留了元学习接口，未来可考虑用历史任务经验热启动新数据集搜索，降低冷启动成本
揭示 LoRA 中缩放因子的隐藏优化力量
🧭 LoRA 缩放因子优化
JD · UCAS · NKU
发现 LoRA 缩放因子 α 主导优化，与学习率作用不同，提出平方根法则及 LoRA-α 框架
📌 工作参考价值（4 点）
- 微调 LLM（如用于推荐解释生成、Agent 工具调用）时，放弃秩绑定的 α=2r 传统，采用平方根律 α = c√r（c 可由少量实验确定，如 c≈4~8），用标准小学习率即可高效收敛，简化调参。
- 若微调效果受限于收敛速度，优先放大 α 而非学习率：α 放大任务信号却不增加参数漂移（drift ratio），可避免过拟合与遗忘，特别适合在线持续微调场景。
- LoRA-α 的发现直接支持在电商多任务微调中固定 α，使用统一的小学习率（如 1e-4），无需为不同任务反复调整学习率，降低超参搜索成本。
- 频谱抑制平滑优化地形的洞察可用于诊断微调困难：若训练初期梯度方向杂乱，可增大 α 或降低秩以强化主成分信号，加速收敛。
VirtualMLE：通过LLM Agent反思与记忆实现序列推荐自动调优
🧭 LLM Agent 自动化推荐模型调优 ★ 深度解读
Tsinghua University · Beijing University of Posts and Telecommunications
用LLM Agent构建反思-记忆闭环，将序列推荐调优转化为可迁移的认知推理，大幅降低试错次数
📌 工作参考价值（4 点）
- 将LLM嵌入模型调优流程：可借鉴VirtualMLE的“执行-反思-记忆更新”闭环，在推荐模型上线前的调参阶段，用LLM agent替代人工或贝叶斯优化，自动分析试验结果并诊断瓶颈，减少工程师重复劳动。
- 层次化记忆复用调优经验：长期记忆存储跨数据集的通用启发（如稀疏数据适合强正则化、注意力模块宜用较低学习率），短期记忆记录当前搜索轨迹。在电商多域（首页猜你喜欢、详情页关联推荐等）场景下，可以把已优化域的知识快速迁移到新频道，降低冷启动成本。
- 反思模块输出因果归因：每次试验后让LLM生成“哪个改动导致了什么结果”的归因摘要，指导后续搜索方向。实际工作中可嵌入到AutoML pipeline里，作为可解释的搜索记录，辅助人工决策。
- 认知摘要实现跨任务迁移：将完整调优轨迹蒸馏为Cognition Summary（如“相对位置编码优于绝对+相对”、“embedding tying对稀疏数据有益”），作为新数据集的初始先验，能在电商多品类推荐中显著加速收敛（论文中跨域迁移只需1/3试验次数）。